Hugging face
Hugging Face提供了transformers库，用于加载和使用模型。
你可以使用以下命令来安装它：（电脑须安装基础环境：Anaconda,CUDA,cuDNN,pytorch）
python
pip install transformers下载与加载模型到指定文件夹
python
fromtransformers import AutoModel,AutoTokenizer
#替换为你选择的模型名称
model_name="bert-base-uncased"
#
指定模型保存路径
cache_dir="./my_model_cache"
#下载并加载模型和分词器到指定文件夹
model=AutoModel.from_pretrained(model_name,cache_dir=cache_dir)
tokenizer=AutoTokenizer.from_pretrained(model_name,
cache_dir=cache_dir)datasets库核心方法
- 加载数据集
python
from datasets import load_dataset
#加载GLUE数据集
dataset=load_dataset("glue","mrpc")
print(dataset)- 加载磁盘数据
python
from datasets import load_from_disk
#从本地磁盘加载数据集
dataset=load_from_disk("./my_dataset")
print(dataset)